class: title-slide <style>.xe__progress-bar__container { bottom:0; opacity: 1; position:absolute; right:0; left: 0; } .xe__progress-bar { height: 0.25em; background-color: #d50006; width: calc(var(--slide-current) / var(--slide-total) * 100%); } .remark-visible .xe__progress-bar { animation: xe__progress-bar__wipe 200ms forwards; animation-timing-function: cubic-bezier(.86,0,.07,1); } @keyframes xe__progress-bar__wipe { 0% { width: calc(var(--slide-previous) / var(--slide-total) * 100%); } 100% { width: calc(var(--slide-current) / var(--slide-total) * 100%); } }</style><style>.panelset{--panel-tab-font-family: inherit;}</style> # ER018 - Analyzing Business Relations & Documents ## PVA1 ### Einführung: Textdaten und Auswertungsmethoden <br> <br> <br> <br> <br> <br> <br> ### FS 2024 <br> ### Prof. Dr. Jörg Schoder .mycontacts[ <svg aria-hidden="true" role="img" viewBox="0 0 496 512" style="height:1em;width:0.97em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M165.9 397.4c0 2-2.3 3.6-5.2 3.6-3.3.3-5.6-1.3-5.6-3.6 0-2 2.3-3.6 5.2-3.6 3-.3 5.6 1.3 5.6 3.6zm-31.1-4.5c-.7 2 1.3 4.3 4.3 4.9 2.6 1 5.6 0 6.2-2s-1.3-4.3-4.3-5.2c-2.6-.7-5.5.3-6.2 2.3zm44.2-1.7c-2.9.7-4.9 2.6-4.6 4.9.3 2 2.9 3.3 5.9 2.6 2.9-.7 4.9-2.6 4.6-4.6-.3-1.9-3-3.2-5.9-2.9zM244.8 8C106.1 8 0 113.3 0 252c0 110.9 69.8 205.8 169.5 239.2 12.8 2.3 17.3-5.6 17.3-12.1 0-6.2-.3-40.4-.3-61.4 0 0-70 15-84.7-29.8 0 0-11.4-29.1-27.8-36.6 0 0-22.9-15.7 1.6-15.4 0 0 24.9 2 38.6 25.8 21.9 38.6 58.6 27.5 72.9 20.9 2.3-16 8.8-27.1 16-33.7-55.9-6.2-112.3-14.3-112.3-110.5 0-27.5 7.6-41.3 23.6-58.9-2.6-6.5-11.1-33.3 2.6-67.9 20.9-6.5 69 27 69 27 20-5.6 41.5-8.5 62.8-8.5s42.8 2.9 62.8 8.5c0 0 48.1-33.6 69-27 13.7 34.7 5.2 61.4 2.6 67.9 16 17.7 25.8 31.5 25.8 58.9 0 96.5-58.9 104.2-114.8 110.5 9.2 7.9 17 22.9 17 46.4 0 33.7-.3 75.4-.3 83.6 0 6.5 4.6 14.4 17.3 12.1C428.2 457.8 496 362.9 496 252 496 113.3 383.5 8 244.8 8zM97.2 352.9c-1.3 1-1 3.3.7 5.2 1.6 1.6 3.9 2.3 5.2 1 1.3-1 1-3.3-.7-5.2-1.6-1.6-3.9-2.3-5.2-1zm-10.8-8.1c-.7 1.3.3 2.9 2.3 3.9 1.6 1 3.6.7 4.3-.7.7-1.3-.3-2.9-2.3-3.9-2-.6-3.6-.3-4.3.7zm32.4 35.6c-1.6 1.3-1 4.3 1.3 6.2 2.3 2.3 5.2 2.6 6.5 1 1.3-1.3.7-4.3-1.3-6.2-2.2-2.3-5.2-2.6-6.5-1zm-11.4-14.7c-1.6 1-1.6 3.6 0 5.9 1.6 2.3 4.3 3.3 5.6 2.3 1.6-1.3 1.6-3.9 0-6.2-1.4-2.3-4-3.3-5.6-2z"/></svg> @FFHS-EconomicResearch <svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M416 32H31.9C14.3 32 0 46.5 0 64.3v383.4C0 465.5 14.3 480 31.9 480H416c17.6 0 32-14.5 32-32.3V64.3c0-17.8-14.4-32.3-32-32.3zM135.4 416H69V202.2h66.5V416zm-33.2-243c-21.3 0-38.5-17.3-38.5-38.5S80.9 96 102.2 96c21.2 0 38.5 17.3 38.5 38.5 0 21.3-17.2 38.5-38.5 38.5zm282.1 243h-66.4V312c0-24.8-.5-56.7-34.5-56.7-34.6 0-39.9 27-39.9 54.9V416h-66.4V202.2h63.7v29.2h.9c8.9-16.8 30.6-34.5 62.9-34.5 67.2 0 79.7 44.3 79.7 101.9V416z"/></svg> @jfschoder ] --- layout: true <div class="my-footer"></div> <div style="position: absolute;left:400px;bottom:10px;font-size:9px"><svg aria-hidden="true" role="img" viewBox="0 0 496 512" style="height:1em;width:0.97em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M245.83 214.87l-33.22 17.28c-9.43-19.58-25.24-19.93-27.46-19.93-22.13 0-33.22 14.61-33.22 43.84 0 23.57 9.21 43.84 33.22 43.84 14.47 0 24.65-7.09 30.57-21.26l30.55 15.5c-6.17 11.51-25.69 38.98-65.1 38.98-22.6 0-73.96-10.32-73.96-77.05 0-58.69 43-77.06 72.63-77.06 30.72-.01 52.7 11.95 65.99 35.86zm143.05 0l-32.78 17.28c-9.5-19.77-25.72-19.93-27.9-19.93-22.14 0-33.22 14.61-33.22 43.84 0 23.55 9.23 43.84 33.22 43.84 14.45 0 24.65-7.09 30.54-21.26l31 15.5c-2.1 3.75-21.39 38.98-65.09 38.98-22.69 0-73.96-9.87-73.96-77.05 0-58.67 42.97-77.06 72.63-77.06 30.71-.01 52.58 11.95 65.56 35.86zM247.56 8.05C104.74 8.05 0 123.11 0 256.05c0 138.49 113.6 248 247.56 248 129.93 0 248.44-100.87 248.44-248 0-137.87-106.62-248-248.44-248zm.87 450.81c-112.54 0-203.7-93.04-203.7-202.81 0-105.42 85.43-203.27 203.72-203.27 112.53 0 202.82 89.46 202.82 203.26-.01 121.69-99.68 202.82-202.84 202.82z"/></svg>Prof. Dr. Jörg Schoder</div> --- name: agenda class: left .blockquote[Agenda] ## Einführung in die Analyse von Textdaten * Motivation und Einordnung * Analyse von Textdaten * NLP und LLMs --- class: left .blockquote[Motivation und Einordnung] ## Generative KI .panelset[ .panel[.panel-name[ChatGPT] <img src="data:image/png;base64,#../../img/PVA1/chatgpt_(ultimate.ai).PNG" width="80%" style="display: block; margin: auto;" /> ] .panel[.panel-name[Work in Progress] .center[ "*ChatGPT is incredibly limited but good enough at some things to create a misleading impression of greatness. It's a mistake to be relying on it for anything important right now. It's a preview of progress; we have **lots of work to do on robustness and truthfulness**.*" .tr[ Sam Altman (CEO OpenAI) ] ] ] ] .quellePanURL[Quelle: [ultimate.ai](https://www.ultimate.ai/blog/ai-automation/chatgpt-the-tech-behind-the-hype-and-what-it-means-for-your-support).] ??? * Jeder Kennt ChatGPT. Zusammengesetzt aus Chat und GPT * GPT: Generative Pre-Trained Transformer * **generative**: Anwendungen können neuen content erzeugen und nicht nur bestehende Daten auswerten * **pre-trained**: wurden mit Hilfe (meist riesiger Mengen) an Daten "trainiert" (gleich mehr dazu...) * **transformer**: Transformer-Modelle sind **tiefe neuronale Netze** * kann Kontext und damit die **Bedeutung** (mehr dazu gleich...) erlernen, indem es die **Beziehung zwischen Wörtern (Token) in einem Satz (Sequenz)** verfolgt. * Wichtigste Innovation von Transformatormodellen: Verwendung von **Mechanismen der Selbstaufmerksamkeit**. Diese ermöglichen es den Modellen, die Bedeutung verschiedener Teile der Eingabe bei der Vorhersage abzuwägen. * ChatGPT ist ein großartiges Beispiel für die Leistungsfähigkeit von Transformatoren in generativen KI-Modellen. * **Chat** weil die Anwendung Konversationen erzeugt * entwickelt von OpenAI. OpenAI laut CB Insights Ende März 2024 wertvollstes Startup mit einer Bewertung von 80 Mrd. USD. An der Börse wird Mercedes-Benz ähnlich bewertet. * Enorme Geschwindigkeit des Aufstiegs von OpenAI. Woher kommt der Erfolg? Letztlich: Kombination von Daten und Auswertungsmethoden. **Klick auf Work in Progress** * Zu den Auswertungsmethoden gehören NLP und LLM. * LLM: Antworten von ChatGPT klingen "menschlich". Dies ist möglich, weil eine riesige Datenmenge dazu genutzt wurde, um ein LL-Modell zu trainieren. * Die genutzten Daten wurden dabei von echten Menschen geschrieben (das heißt, im gesamten Internet vor 2022). * LL-Modelle basieren in der Regel auf sog. neuronalen Netzen und werden mit einer Machine-Learning-Technik (unüberwachtes Lernen). Dabei lernt das Modell, das nächste Wort in einem Satz auf der Grundlage der vorherigen Wörter vorherzusagen. Vorhersage basierend auf Statistik! * NLP (=Natural Language Processing): Verarbeitung natürlicher Sprache. * Diese Technologie ist eine weitere Erfolgskomponente von ChatGPT. NLP **greift auf transformer-Modelle zurück** (das T in GPT), um eingehende Nachrichten bzw. Prompts zu **verstehen**. * Ähnlich nutzen fortschrittliche Chatbots für den Kundensupport NLP, um die **Absichten der Kunden zu verstehen** und zu gruppieren * Eine Idee, wie solche Methoden funktionieren werden wir uns heute erarbeiten. --- class: left .blockquote[Motivation und Einordnung] ## Strukturierte vs. unstrukturierte Daten .panelset[ .panel[.panel-name[Datentypen] <img src="data:image/png;base64,#../../img/PVA1/big-data-types_(crmconsultant.weebly.com).png" width="80%" style="display: block; margin: auto;" /> .quellePanURL[Bildquelle: [outrightcrm.com](https://crmconsultant.weebly.com/blog/big-data-and-crm-what-future-holds-for-both-the-technologies).] Ausführlicher bspw. [ibm.com](https://www.ibm.com/blog/structured-vs-unstructured-data/) ] .panel[.panel-name[Exkurs: Datenmanagement] <img src="data:image/png;base64,#../../img/PVA1/data-warehouse-vs-data-lake-vs-data-mesh_(xenonstack.com).png" width="80%" style="display: block; margin: auto;" /> <br> .quellePanURL[Bildquelle: [xenonstack.com](https://www.xenonstack.com/blog/data-warehouse-vs-data-lake-vs-data-mesh)] ] ] ??? * Strukturierte Daten * häufig auch als "quantitative Daten" bezeichnet * Beispiele: * Namen, Adressen, Kreditkartennummern usw. * Vorteile: Benutzerfreundlichkeit und einfacher Zugriff * Nachteile: Unflexibilität, (Informations-)Gehalt der Daten? * hochgradig organisiert und durch Algorithmen des maschinellen Lernens leicht entzifferbar. * Verwaltung u.a. mit der 1974 von IBM entwickelten strukturierten Abfragesprache (SQL), häufig in Kombination mit relationalen (SQL) Datenbanken. * Damit können Nutzer strukturierte Daten schnell eingeben, durchsuchen und bearbeiten. * Unstrukturierte Daten * auch als qualitative Daten bezeichnet * Beispiele: * Texte, mobile Aktivitäten, Beiträge in sozialen Medien, Sensordaten aus dem Internet der Dinge (IoT) usw. * **Rapide zunehmende Bedeutung** von unstrukturierten Daten. * Schätzungen zufolge über 80% aller Unternehmensdaten unstrukturiert; 95% der Unternehmen räumen der Verwaltung unstrukturierter Daten Priorität ein. * Vorteile: Format, Geschwindigkeit und Speicherung * Nachteile: erforderliches Fachwissen zur Auswertung und verfügbare Ressourcen. * "erforderliches Fachwissen": unstrukturierte Daten können nicht mit herkömmlichen Daten-Tools und -Methoden verarbeitet und analysiert werden. * Exkurs: * Strukturierte Daten werden in der Regel in Datenspeichersystemen mit starren Schemata (z. B. **Data Warehouses**) gespeichert. * starres Schmema vordefiniert, Daten werden dann entsprechend eingegeben/abgelegt * Dadurch wenig flexibel: Änderungen der Datenanforderungen machen eine Aktualisierung aller strukturierten Daten erforderlich, was zu einem massiven Zeit- und Ressourcenaufwand führt. * Unstrukturierte Daten * Bei unstrukturierten Daten existiert meist kein vordefiniertes Datenmodell * daher Verwaltung in nicht-relationalen (NoSQL) Datenbanken. * Alternativ: Verwendung von **Data Lakes** - zur Aufbewahrung **in Rohform** --- class: inverse, center, middle ## Analyse von Textdaten .blockquote[Besonderheiten von Textdaten] .block[Alternative Auswertungsmethoden] --- class: left .blockquote[Besonderheiten von Textdaten] ## Zeichen(ketten) und Bedeutungen * Zeichen -- * Buchstaben (bspw. griechisch: `\(\alpha-\omega\)`, lateinisch: a-z) -- * Ziffern (bspw. römisch: I, V, X..., arabisch: 0-9) -- * Symbole (bspw. $, €, §, %, &) -- * Zeichenketten (Wörter, Zahlen, Hexcode, 😃...) -- * Syntax * Baumstamm, Stammbaum * Hund beißt Mann, Mann beißt Hund -- * Semantik -- * Bank -- * Ein Fräulein ist eine Frau, der zum Glück der Mann fehlt. -- * Fluggäste ärgern sich über Gebühr. -- <svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M256 512A256 256 0 1 0 256 0a256 256 0 1 0 0 512zm0-384c13.3 0 24 10.7 24 24V264c0 13.3-10.7 24-24 24s-24-10.7-24-24V152c0-13.3 10.7-24 24-24zM224 352a32 32 0 1 1 64 0 32 32 0 1 1 -64 0z"/></svg> Textdaten: Bedeutungen und Sinnverstehen. ??? * Semantik - Bedeutung von Zeichen und Zeichenketten * Bank: Kreditinstitut vs. Sitzgelegenheit? * Fräulein: Glück als "glücklicherweise" oder "zum Glücklichsein"? * Fluggäste: ärgern sich über (neue/zusätzliche) Gebühr? oder "mehr als sich gebührt"? --- class: inverse, center, middle ## Alternative Auswertungsmethoden .blockquote[Qualitative vs. Quantitative Inhaltsanalysen] .blockquote[Natural Language Processing] --- class: left .blockquote[Qualitative vs. Quantitative Inhaltsanalysen] ## Heuristik zur Wahl inhaltsanalytischer Auswertungstechniken <img src="data:image/png;base64,#../../img/PVA1/Heuristik_Inhaltsanalysen_(Schneijderberg_etal_2022)_S24.PNG" width="75%" style="display: block; margin: auto;" /> .quelle[<a name=cite-schneijderberg_qualitative_2022></a>[Schneijderberg, Wieczorek, and Steinhardt (2022)](#bib-schneijderberg_qualitative_2022), S. 24.] ??? * Form follows Function * Verweis auf Masterarbeit: * Am Anfang steht immer die Forschungsfrage * Dann wird die geeignete Methode (aus)gesucht * Dazu wertvolle Hinweise in Schneijderberg et al! --- class: left .blockquote[Natural Language Processing] ## Grundlegende Konzepte * Attention (Aufmerksamkeit) * Fokus auf Teile einer Zeichenkette (Eingabe/Prompt) * zu Vorhersage einer Ausgabesequenz -- * Self-Attention (Selbstaufmerksamkeit) * Aufmerksamkeitsmechanismus, der verschiedene Positionen einer einzelnen Sequenz miteinander in Beziehung setzt * Ziel: Berechnung einer Abbildung der Sequenz -- .blockquote[ Beispiel: * "*Ich habe Wasser aus der Flasche in die **Tasse** gegossen, bis **sie** **voll** war.*" * "*Ich habe Wasser aus der **Flasche** in die Tasse gegossen, bis **sie** **leer** war*." ] -- Bedeutung von "sie"? ??? * Die Attention ermöglichte es uns, uns auf Teile unserer Eingabesequenz zu konzentrieren, während wir unsere Ausgabesequenz vorhersagten. Wenn unser Modell das Wort "rouge" [französische Übersetzung für die Farbe Rot] vorausgesagt hat, ist es sehr wahrscheinlich, dass wir in unserer Eingabesequenz eine hohe Gewichtung für das Wort "rot" finden. Die Aufmerksamkeit ermöglichte es uns also gewissermaßen, eine Verbindung/Korrelation zwischen dem Eingabewort "rouge" und dem Ausgabewort "rot" herzustellen. * Self-Attention, auch Intra-Attention * Beispiel: * *"Ich habe Wasser aus der Flasche in die **Tasse** gegossen, bis **sie** **voll** war."* (sie: die Tasse) * *"Ich habe Wasser aus der **Flasche** in die Tasse gegossen, bis **sie** **leer** war.* (sie: die Flasche) * Durch die Änderung eines Wortes "voll" - > "leer" hat sich das **Bezugsobjekt für "sie" geändert**. * Wenn wir einen solchen Satz übersetzen, müssen wir wissen, auf welches Wort sich "sie" bezieht. * Naiv: 50-50 Chance: entweder Flasche oder Tasse. * wir suchen ein Modell, das mit einer höheren Wahrscheinlichkeit die korrekte Vorhersage treffen kann. * Dazu benötigen wir durchaus komplexe Modelle * Wir schauen uns nun einige zentrale Bausteine solcher Modelle an... --- class: left .blockquote[Natural Language Processing] ## Aufmerksamkeitsmechanismen Transformermodelle: * **Encoder-Decoder Attention** Aufmerksamkeit zwischen der Eingangssequenz und der Ausgangssequenz. -- * **Self Attention** in der **Eingabe**sequenz Aufmerksamkeit für alle Wörter in der Eingabesequenz. -- * **Self Attention** in der **Ausgabe**sequenz beschränkter Umfang der Selbstaufmerksamkeit auf Wörter, die vor einem bestimmten Wort auftreten. .tr[ <svg aria-hidden="true" role="img" viewBox="0 0 640 512" style="height:1em;width:1.25em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M579.8 267.7c56.5-56.5 56.5-148 0-204.5c-50-50-128.8-56.5-186.3-15.4l-1.6 1.1c-14.4 10.3-17.7 30.3-7.4 44.6s30.3 17.7 44.6 7.4l1.6-1.1c32.1-22.9 76-19.3 103.8 8.6c31.5 31.5 31.5 82.5 0 114L422.3 334.8c-31.5 31.5-82.5 31.5-114 0c-27.9-27.9-31.5-71.8-8.6-103.8l1.1-1.6c10.3-14.4 6.9-34.4-7.4-44.6s-34.4-6.9-44.6 7.4l-1.1 1.6C206.5 251.2 213 330 263 380c56.5 56.5 148 56.5 204.5 0L579.8 267.7zM60.2 244.3c-56.5 56.5-56.5 148 0 204.5c50 50 128.8 56.5 186.3 15.4l1.6-1.1c14.4-10.3 17.7-30.3 7.4-44.6s-30.3-17.7-44.6-7.4l-1.6 1.1c-32.1 22.9-76 19.3-103.8-8.6C74 372 74 321 105.5 289.5L217.7 177.2c31.5-31.5 82.5-31.5 114 0c27.9 27.9 31.5 71.8 8.6 103.9l-1.1 1.6c-10.3 14.4-6.9 34.4 7.4 44.6s34.4 6.9 44.6-7.4l1.1-1.6C433.5 260.8 427 182 377 132c-56.5-56.5-148-56.5-204.5 0L60.2 244.3z"/></svg> Ausführlicher bspw. [Kulshrestha (2020)](https://towardsdatascience.com/transformers-89034557de14). ] ??? 1. Encoder-Decoder Aufmerksamkeit: Aufmerksamkeit zwischen der Eingangssequenz und der Ausgangssequenz. 2. Self Attention in der Eingabesequenz: Aufmerksamkeit für alle Wörter in der Eingabesequenz. 3. Self Attention in der Ausgabesequenz: Hier ist zu beachten, dass der Umfang der Selbstaufmerksamkeit auf die Wörter beschränkt ist, die vor einem bestimmten Wort auftreten. **Dadurch wird verhindert, dass beim Training des Modells Informationen verloren gehen.** Zu diesem Zweck werden die **Wörter, die nach einem Wort auftreten**, für jeden Schritt ausgeblendet. Für Schritt 1 wird also nur das erste Wort der Ausgabesequenz NICHT maskiert, für Schritt 2 werden die ersten beiden Wörter NICHT maskiert und so weiter. --- class: left .blockquote[Natural Language Processing] ## Der Weg ins Transformer-Modell * Computer verstehen **nur** Zahlen. Wörter müssen in Zahlen "übersetzt" werden, um sie zu verarbeiten. -- * 3 Schritte: * Tokenisierung * Zerlegung von Zeichenketten (Text) in Einzelteile * Zuweisung einer eindeutigen ID -- * Vektorisierung * Überführung in Zahlen durch Zuweisung IDs * ID <svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M464 256A208 208 0 1 1 48 256a208 208 0 1 1 416 0zM0 256a256 256 0 1 0 512 0A256 256 0 1 0 0 256zM294.6 135.1c-4.2-4.5-10.1-7.1-16.3-7.1C266 128 256 138 256 150.3V208H160c-17.7 0-32 14.3-32 32v32c0 17.7 14.3 32 32 32h96v57.7c0 12.3 10 22.3 22.3 22.3c6.2 0 12.1-2.6 16.3-7.1l99.9-107.1c3.5-3.8 5.5-8.7 5.5-13.8s-2-10.1-5.5-13.8L294.6 135.1z"/></svg> n-dimensionaler Vektor -- * Einbettung * "Bedeutung lernen" durch... * ..."Einbettung" der Wortvektoren in einen "embedding space" (word embedding) .tr[ <svg aria-hidden="true" role="img" viewBox="0 0 640 512" style="height:1em;width:1.25em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M579.8 267.7c56.5-56.5 56.5-148 0-204.5c-50-50-128.8-56.5-186.3-15.4l-1.6 1.1c-14.4 10.3-17.7 30.3-7.4 44.6s30.3 17.7 44.6 7.4l1.6-1.1c32.1-22.9 76-19.3 103.8 8.6c31.5 31.5 31.5 82.5 0 114L422.3 334.8c-31.5 31.5-82.5 31.5-114 0c-27.9-27.9-31.5-71.8-8.6-103.8l1.1-1.6c10.3-14.4 6.9-34.4-7.4-44.6s-34.4-6.9-44.6 7.4l-1.1 1.6C206.5 251.2 213 330 263 380c56.5 56.5 148 56.5 204.5 0L579.8 267.7zM60.2 244.3c-56.5 56.5-56.5 148 0 204.5c50 50 128.8 56.5 186.3 15.4l1.6-1.1c14.4-10.3 17.7-30.3 7.4-44.6s-30.3-17.7-44.6-7.4l-1.6 1.1c-32.1 22.9-76 19.3-103.8-8.6C74 372 74 321 105.5 289.5L217.7 177.2c31.5-31.5 82.5-31.5 114 0c27.9 27.9 31.5 71.8 8.6 103.9l-1.1 1.6c-10.3 14.4-6.9 34.4 7.4 44.6s34.4 6.9 44.6-7.4l1.1-1.6C433.5 260.8 427 182 377 132c-56.5-56.5-148-56.5-204.5 0L60.2 244.3z"/></svg> Ausführlicher bspw. [Metzger (2022)](https://medium.com/@saschametzger/what-are-tokens-vectors-and-embeddings-how-do-you-create-them-e2a3e698e037). ] ??? * Tokenisierung * Token: "Platzhalter" - bspw. Casino-Chips, die dann wieder in Geld getauscht werden können * Bei der Tokenisierung wird der ursprüngliche Text in einzelne Teile, so genannte Token, zerlegt. Jedem Token wird eine eindeutige ID zugewiesen, um es als Zahl darzustellen. * Vektorisierung: Die eindeutigen IDs werden dann zufällig initialisierten n-dimensionalen Vektoren zugewiesen. * Einbettung: Um den Token eine Bedeutung zu geben, muss das Modell auf sie trainiert werden. Dadurch kann das Modell die Bedeutung von Wörtern und deren Beziehung zu anderen Wörtern lernen. Um dies zu erreichen, werden die Wortvektoren in einen Einbettungsraum "eingebettet". Dies hat zur Folge, dass ähnliche Wörter nach dem Training ähnliche Vektoren haben sollten --- class: inverse,center,middle # Wir brauchen eine Pause. --- background-image: url("data:image/png;base64,#http://bit.ly/cs631-donkey") background-size: cover --- class: left ## Quellenverzeichnis .ref-slide[ <a name=bib-kulshrestha_transformers_2020></a>[Kulshrestha, R.](#cite-kulshrestha_transformers_2020) (2020b). _Transformers_. https://towardsdatascience.com/transformers-89034557de14,. (Visited on Apr. 09, 2024). <a name=bib-metzger_what_2022></a>[Metzger, S.](#cite-metzger_what_2022) (2022). _What Are Tokens, Vectors, and Embeddings & How Do You Create Them?_ (Visited on Apr. 09, 2024). <a name=bib-schneijderberg_qualitative_2022></a>[Schneijderberg, C., O. Wieczorek, and I. Steinhardt](#cite-schneijderberg_qualitative_2022) (2022). _Qualitative und quantitative Inhaltsanalyse: digital und automatisiert: eine anwendungsorientierte Einführung mit empirischen Beispielen und Softwareanwendungen_. 1. Auflage. Standards standardisierter und nichtstandardisierter Sozialforschung. Weinheim Basel: Beltz Juventa. ISBN: 978-3-7799-7036-1. <a name=bib-xenonstackcom_data_2023></a>[xenonstack.com](#cite-xenonstackcom_data_2023) (2023). _Data Lake vs Data Warehouse vs Data Mesh \textbar Quick Guide_. https://www.xenonstack.com/blog/data-warehouse-vs-data-lake-vs-data-mesh. (Visited on Apr. 08, 2024). ]